ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment
ForeSci：评估LLM智能体前瞻性AI研究判断的时序基准
🧭 Agent 前瞻性判断评估基准
Southeast University · Beijing Zhongguancun Academy · Duke Kunshan University
构建时间屏蔽的基准，揭示LLM代理在做前瞻研究决策时证据组织提升可追溯性但存在证据-决策脱节问题
📌 工作参考价值（4 点）
- 时间屏蔽的离线知识库构建：在电商推荐场景中，可借鉴其按时间切割数据的方式，构建严格避免未来信息泄露的离线评估集，评估模型对用户未来兴趣的预测能力。
- 显式证据组织提升可解释性：论文表明让Agent显式组织证据（如引用历史论文片段）能增强事实支撑，可迁移到电商Agent的决策链设计，例如要求推荐Agent在输出商品列表前必须引用用户历史行为证据，提升可追溯性。
- 证据-决策对齐校验：发现的脱节问题（证据相关但预测错误）提示在实际Agent部署中应引入一致性校验模块，比如在营销决策Agent生成文案时，自动比对引用的数据点是否真正支持结论，防止“合理却错误”的输出。
- 任务设计避免随机猜测：通过预截止分类线索和证据信号衍生任务，而非直接预测特定事件，该设计思路可复用于构建多决策类型的推荐Agent评测（如选品、定价、引流策略），使评测更具可控性。